سنة 1255 ه ، وارتجت البلاد عند سماع عزله فرحا وكاد أن لا يصدق بعضهم بذلك لشدة تمكنه من الولاة ، حتى ينقلون عن بعض الصالحين أنه يقول له : إنه يخدم ثلاثة أمراء يكون مع أولهم بمنزلة الابن ، ومع الثاني بمنزلة الأخ ، ومع الثالث بمنزلة الوالد ، سمعنا ذلك من آخر مدة أحمد باشا . وزينت البلاد عند عزله ولم يسمع بمثل ذلك في هذا القطر واتبع عمل الأفراح جميع البلدان والقبائل وحزن على عزله أفراد من خواص حاشيته ومن توفرت أرباحهم على يديه وأفراد قليلون من الأجانب ، ورام من له وجاهة منهم أن يتداخل في إرجاعه لمنصبه أو في الأقل أن يواجه الوالي كآحاد المتوظفين ، فامتنع الوالي وجعل أتباعه يرودون كل وجه لإرجاعه حتى سافر أحدهم إلى أوروبا وإلى الأستانة واجتمع برجال الدول وبذل في التوصل أموالا فلم يجد من يتداخل في توليته وزيرا في حكومة مختارة في إدارتها ، وحيث تيقن الوالي كثرة الأموال التي توصل إليها الوزير المذكور من أموال الأهالي والحكومة سيما الأموال التي أخذها ابنه الأكبر بتذاكر على المالية مكتوب بها يدفع فلان وزير المال مقدار كذا من المال لأمير الأمراء إبننا محمد في مصالح على يده الخ ، ويقبض الابن المال ويمضي بخطه على القبض مع أنه لا وظيفة له رسمية تقتضي صرف تلك الأموال ، ومع عدم بيان الجهة المصروف فيها المال فأراد محاسبته ومحاسبة ابنه على أموال الحكومة فتبرأ الوزير خير الدين من مباشرة ذلك على ما جرت به العادة ، من أن صاحب الوزارة يباشر مثل ذلك مع كل المتوظفين وعقد لذلك مجلسا مخصوصا يرأسه ولي عهد الولاية الأمير أبو الحسن علي باي ، وأعضاؤه : المفتي الحنفي الشيخ أحمد بن الخواجة ، والقاضي المالكي الشيخ محمد الطاهر النيفر ، والوزير محمد ورشيد كاهية . ووكلت الحكومة على طلب حقوقها الشيخ عمر بن الشيخ ، أحد كبار المدرسين بالجامع الأعظم ، وأرسل المجلس يدعو المطلوبين لسماع الدعوى كما أرسل الوزير خير الدين مكتوبا إلى الوزير السابق يعلمه فيه بعقد المجلس للتأمل في نازلة المطالب المتوجهة عليه وعلى ابنه وجوابه عنها ، فامتنع من الحضور ولما ألح عليه بالحضور أرسل إلى قنسل فرنسا يطلب حمايته وتوجيه أحد أعوانه ليحميه عند ذهابه للمجلس ، فتعجب القنسل من الطلب وأجابه بأنه لا يتداخل في أحكام البلاد سيما ولم يجر عليه ظلم يقتضي مثل ذلك ، ثم أرسل وكيلا عنه من أحد رعايا الأجانب فلما دخل إلى المجلس سأله الرائس : هل هو داخل تحت أحكام البلاد أم لا ؟ فأجابه : بلا وتفاوض المجلس في قبوله وعدمه على تلك الصفة فظهر لهم أنه يجب أن يكون الوكيل داخلا تحت أحكام البلاد ، ليؤاخذ بأعماله وأقواله فيما يتعلق بموكله وفيما يعود إليه ، ولما علم الوزير خزنه دار بذلك أرسل ابنه الثاني محمد المنجي الذي هو بريء من جميع الأعمال السابقة وجعله وكيلا عن والده وأخيه ، وعلم ما هي مطالب الحكومة منهما وحيث علم أن الحجة قائمة عليهما ركن إلى طلب الصلح ، فصالحته الحكومة .